Описание проекта
Серийный предприниматель обратил внимание на область искусственного интеллекта, стремясь предложить уникальное на рынке решение. Проект включал разработку логики для LLM, генераторов txt2img, txt2voice, методов voice2text, оптического распознавания символов (OCR) и компьютерного зрения (CV). В проекте участвовало 5 специалистов, включая разработчиков и дизайнеров UI/UX, с постоянным сотрудничеством с 2-3 разработчиками со стороны клиента для определенных задач.
Отрасль и клиент
- Образование
- Серийный предприниматель
Проект ориентировался на максимальное использование существующих возможностей ИИ для изучения языков. Важно было соответствовать ожиданиям клиента, который искал уникального Telegram-бота, способного предложить инновационный опыт изучения иностранного языка.
Технологический стек
- Python
- LLM
Стек ИИ:
- faceswap
- txt2image
- txt2video
- lipsync
- txt2voice
- voice2txt
- Компьютерное зрение
- OCR
В проекте использовались различные технологии, включая aiogram, OpenAI, replicate, Google Cloud Platform, DI-ID, Elevenlabs, библиотеку нечеткого поиска, OpenCV, MoviePy и PostgreSQL для бэкэнда. Для беспроблемного взаимодействия использовались асинхронное программирование, API, JSON и другие технологии.
Запрос бизнеса
Клиент просил создать уникального Telegram-бота, способного предложить инновационный опыт изучения языков. Изначально целью было интегрировать функцию madlibs на основе ChatGPT, позволяя пользователям создавать настраиваемые изображения и видео с использованием сгенерированных сценариев.
Основной вызов
Основной задачей было улучшение изучения языков с помощью ИИ и обеспечение безупречного пользовательского опыта. Проблемы с первоначальной концепцией madlibs привели к пересмотру подхода, и были внесены коррективы, чтобы соответствовать ожиданиям пользователей.
Наше решение
Проект включал разработку Telegram-бота с использованием библиотек aiogram и telebot. Начиная с создания анимированного контента, бот эволюционировал, предлагая функции, такие как живые изображения, синхронизация губ с репликами SadTalker/D-ID, и эффекты масштабирования с использованием OpenCV и MoviePy. Пользовательский контент был расширен, позволяя пользователям заменять озвучку и получать обратную связь через систему оценки.
Этапы разработки проекта
- Разработка прототипа Telegram-бота
- Рефакторинг с использованием aiogram и интеграция SQLite3
- Переход к Replicate и Google TTS для генерации контента
- Введение живых изображений и улучшение взаимодействия с пользователем
- Интеграция Assistant Pro для улучшенного взаимодействия с GPT
- Добавление функций проверки домашних заданий и консультаций
- Оптимизация производительности и интеграция с различными ИИ-сервисами
Функциональность
- Создание анимированного контента с разнообразными опциями настройки
- Пользовательский контент с синхронизацией губ и эффектами масштабирования
- Изучение языков на основе GPT, включая madlibs и взаимодействие с пользователем
- Assistant Pro для голосовых ответов, распознавания изображений и рисования
Технологии и сервисы
- aiogram
- OpenAI
- Replicate
- Google Cloud Platform
- DI-ID
- ElevenLabs
- fuzzy search library
- OpenCV
- MoviePy
- PostgreSQL
- Stable Diffusion
- Midjourney
- DALL·E
- Figma
- Развертывание – Ubuntu 22.04
Команда разработки
- Team Lead
- 2 разработчика AI Python
- Дизайнер UI/UX
- QA-тестировщик
Продолжительность разработки
6 месяцев
Результаты
Проект предоставил функционального Telegram-бота, который безупречно интегрировал ИИ-сервисы, предлагая инновационный и персонализированный опыт изучения языков. Были реализованы оптимизации системы для улучшения производительности и совместимости.
Стоимость разработки
От $9.000 до $11.000
